Không rõ ai là người phát minh ra tangram ở Trung Quốc, chỉ biết bút danh của người ấy là Yang-cho-chu-shih. Người ta tin rằng ban đầu trò xếp hình này được giới thiệu trong cuốn sách Ch'i chi'iao t'u. Nhưng sau đó Shan-chiao thuật lại trong cuốn Các hình thù mới của tangram (New Figures of the Tangram) (1815) của ông rằng quyển sách đó đã bị thất lạc. Dù vậy, người ta cho rằng trò xếp hình thực sự ra đời sớm hơn thời điểm này 20 năm.[5] Có vẻ như ở Trung Quốc có một truyền thống lâu đời về các trò xếp hình giải trí mà đã góp phần tạo nên cảm hứng cho trò tangram này. Cụ thể là triều đại nhà Tống có các bàn tiệc kiểu mô đun tương đồng với các mảnh tangram một cách kì lạ, ngoài ra còn có ghi chép hướng dẫn cách sắp xếp chúng với nhau sao cho ra được các mô hình dễ nhìn.[6] Trước đó nhà toán học Liu Hui nổi tiếng của thế kỷ thứ ba đã dùng các bằng chứng xây dựng trong các công trình của ông. Những bằng chứng này tương đồng với các bàn tiệc nói trên đến lạ kì và có thể là tiền đề phát triển tangram.[7] Ngoài ra cũng có thông tin cho rằng từ thế kỉ thứ 3 TCN, nhà toán học của Hy Lạp cổ đại Archimedes đã thiết kế một bộ xếp hình tương tự như tangram và đặt tên nó là Loculus Archimedius hoặc Stadderion.[8]

Đến phương Tây (1815–1820)

Ông trùm vận tải Philadelphia và nghị sĩ Francis Waln là người sở hữu các bản tangram cổ xưa nhất còn tồn tại vào năm 1802. Nhưng phải hơn một thập kỉ sau, khán giả đại chúng phương Tây mới được tiếp xúc với trò xếp hình này.[1] Năm 1815, khi tàu Trader cập bến, vị thuyền trưởng người Mỹ M. Donaldson nhận được 2 quyển sách của tác giả Sang-Hsia-koi về trò chơi này (một quyển là sách đố còn quyển kia là sách giải). Tháng 2 năm sau, ông mang chúng về Philadelphia. Sau này, quyển sách tangram đầu tiên được xuất bản ở Hoa Kỳ chính là dựa trên bộ sách của M. Donaldson.[9]

Sau một thời gian thì trò xếp hình này cũng được du nhập vào Anh và nhanh chóng trở nên thịnh hành. Cơn sốt lan tỏa sang các nước châu Âu khác, phần lớn cũng là nhờ bộ sách tangram tiếng Anh mang tên The Fashionable Chinese Puzzle và quyển sách giải đi kèm.[10] Sau đó, các bô tangram được làm từ các chất liệu khác nhau (từ thủy tinh, gỗ đến mai rùa) nhanh chóng được ồ ạt nhập vào từ Trung Quốc.[11]

Nhiều bộ tangram độc đáo này đặt chân đến Đan Mạch. Nhu cầu chơi tangram của người Đan Mạch tăng vọt vào khoảng năm 1818, khi có hai cuốn sách viết về xếp hình được xuất bản.[12] Cuốn đầu tiên là do một sinh viên trường đại học Copenhagen viết, với tiêu đề là Mandarinen (Trò chơi Trung Quốc) xoay quanh lịch sử hình thành và sự phổ biến của tangram. Cuốn thứ hai Trò xếp hình mới của Trung Quốc (Det nye chinesiske Gaadespil) bao gồm 339 mẫu xếp hình lấy từ cuốn The Eighth Book of Tan.[12]

Một yếu tố khác góp phần vào sự phổ biến của trò chơi ở châu Âu là mặc dù thời đó Giáo hội Công giáo cấm nhiều hình thức giải trí trên Sabbath, họ lại không phản đối trò chơi xếp hình.[13]

Một số quyển sách khác viết về tangram đã được xuất bản ở châu Âu trong thời kì đó là[8]

• Trò chơi Trung Quốc mới thú vị (Nuovo dilettevole Giuoco Chinese) của Nhà xuất bản Bertinazzi (1813), Ý
• Trò chơi mới của Trung Quốc (Nuovo Gioco Cinese) của Nhà xuất bản Flli. Bettalli (1817), Ý
• The Fashionable Chinese Puzzle của John Codman Ropes (khoảng 1836–1899), Hoa Kỳ[14]
• Énigmes Chinoises của Nhà xuất bản Grossin (1817), Pháp
• Metamorfosi del Giuoco detto l'Enimma Chinese của Nhà xuất bản Landi (1818), Ý

Ở Đức (1882–nay)

Theo nhiều tài liệu, nhà giáo Friedrich Fröbel ở thành phố Blankenburg bang Thüringen là người đầu tiên đã nảy ra sáng kiến dùng các khối gỗ đủ hình dạng như hình cầu, hình hộp chữ nhật và hình khối vuông để cho các trẻ nhỏ ở trường mẫu giáo của ông có thể tập chơi xây mô hình.[15][16] Thời điểm đó là năm 1840. Hai anh em nhà Otto và Gustav Lilienthal đã lấy cảm hứng từ đó rồi tự sản xuất miếng xếp hình từ cát thạch anh, vôi và dầu hạt lanh để kinh doanh. Nhưng công việc kinh doanh thất bại vì cách tiếp thị của họ không đủ hiệu quả. Về sau, Otto và Gustav đã bán phát minh này cho doanh nhân Friedrich Adolf Richter, người sau đó đã đem phát minh này đi đăng kí bằng sáng chế.

Từ năm 1882, Richter đã cho sản xuất các miếng xếp hình trong nhà máy dược phẩm của mình – Ankerwerk ở thị trấn Rudolstadt. Đồng thời Richter cũng mời các nghệ sĩ, họa sĩ minh họa và kiến trúc sư đến thiết kế các mẫu mô hình khác nhau cho bộ đồ chơi này.[16]

Ngày nay, trò chơi vẫn được chính công ty trách nhiệm hữu hạn Ankerstein-Steinbaukasten sản xuất và phân phối dưới tên gọi "Xếp hình Anker" (tiếng Đức: Anker-Steinbaukasten hoặc Anker) với đủ các mẫu mô hình khác nhau, từ 7 miếng, 9 miếng đến 36 miếng và 686 miếng. Bộ xếp hình 7 miếng có tên gọi là Geduldspiele (trò chơi thử thách lòng kiên nhẫn) và Kopfzerbrecher (thứ làm cho phải "vắt óc" ra suy nghĩ) và được làm từ cát thạch anh, đá vôi, dầu hạt lanh và phẩm màu.